LongRCA Bench：长程 Agent 失败责任角色与根因诊断基准
🧭 Agent 长轨迹故障根因定位
Computer Network Information Center, Chinese Academy of Sciences · Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences · Chongqing University · Institute of Computing Technology, Chinese Academy of Sciences · Singapore Management University
提出 LongRCA Bench 与训练无关的 RCTA 方法，将长轨迹 Agent 失败归因提升至 24.1% 精确根因步准确率
📌 工作参考价值（4 点）
- 可直接复用 RCTA 的两阶段归因流程：对电商导购、多步推荐、客服自动化等长轨迹 Agent，先按 segment 做摘要并检索可疑步骤，再回溯上游 handoff/指令做依赖定位；无需训练，便于在现有 LLM backbone 上快速部署。
- 故障归因评估应拆分 responsible-role accuracy 与 exact root-step accuracy：业务中先定位出错的角色/环节（如召回、排序、工具调用、策略手写）往往比直接定位具体步骤更易落地，也适合做监控告警和归因看板。
- 参考 LongRCA Bench 的构建方式：收集真实失败轨迹、避免注入错误、对最早决定性根因步骤做独立人工标注，可沉淀为自己的长会话 Agent bad case 离线回归库。
- 注意连最强基线也仅 13.2% 精确根因步准确率，说明长轨迹精确定位很难；不要依赖 LLM 一次性全轨迹归因，优先用分段摘要+依赖回溯缩小范围后再核验。
AgentDebugX: LLM Agent 闭环调试与根因修复工具包
🧭 Agent 调试 · 根因分析与修复 ★ 深度解读
University of Illinois Urbana-Champaign · University of Toronto · Google · Stanford University
提出闭环调试框架AgentDebugX，其多轮根因诊断方法DeepDebug在Who&When上严格归因准确率28.8%优于单次方案21.7%，在GAIA上单次重试修复13/73失败任务。
📌 工作参考价值（4 点）
- 闭环植入推荐Agent质量保障：可将Detect-Attribute-Recover-Rerun流程嵌入推荐系统的Agent执行链路（如多轮对话推荐、商品搜索Agent），自动检测表象失败并回溯到真正决策错误步骤，将根因分析作为线上兜底策略。
- 根因分析用于模型迭代：DeepDebug的多轮全局扫描、结构引导探查与交叉验证机制可直接迁移，用于诊断推荐失败（如错误召回源头、排序打分支离），产出带证据的诊断报告，替代人工日志分析，加速Bad Case修复。
- 可移植轨迹表示降本增效：框架无关的AgentTrajectory格式支持跨LangGraph、CrewAI等常用Agent框架，适合多团队共享同一诊断工具；Error Hub可积累推荐Agent的失败-诊断-修复三元组，形成团队知识库，用于回归测试和长尾错误模式发现。
- 成本可控的渐进诊断：采用“简单规则→单次LLM读取→多轮DeepDebug”的成本递增路径，可根据任务复杂度动态选择诊断深度；对于推荐Agent，高频短链任务用轻量检查，长链多跳任务用DeepDebug避免定位偏差，工程上易于落地。
MemTrace：大语言模型记忆系统的错误溯源与归因
🧭 Agent 记忆系统错误诊断 · 执行图归因 ★ 深度解读
Zhejiang University · Alibaba Group
将记忆流水线转化为执行图，通过图遍历定位最早故障操作，实现跨会话错误自动诊断与自动提示优化
📌 工作参考价值（4 点）
- 记忆系统可观测性：通过 smartcomment 工具将任意记忆流水线的变量与操作依赖记录为执行图，可在电商对话 Agent 中定位记忆丢失、错误更新等故障。
- 细粒度错误归因：MemTrace 的图遍历优先检查早期操作，避免在长程交互中盲目搜索；引入源证据和系统先验知识能显著提高操作定位准确率（+12% OIA），适用于推荐系统的对话记忆调试。
- 自动提示优化闭环：将错误归因作为 credit assignment，只对故障操作涉及的局部 prompt 进行优化，避免在长轨迹上做全局优化；即使归因不完美（72.5% OIA），仍能带来 7.62% 的端到端性能提升，适合在线自动修复。
- 执行图的结构化诊断：生成的诊断报告可汇总不同记忆系统（RAG、Mem0、EverMemOS）的薄弱点，例如提取模块丢失细粒度信息、重排序模块失效等，可指导电商记忆架构选型与迭代。